Web Survey Bibliography
Five experiments examined whether and how participation in Web based studies was influenced by such a simple measure as framing the reception of an incentive as being contingent on the completeness of the submitted questionnaire. Four experiments were carried out in a university-based online panel and one in a market research online panel. Four times the incentive was a prize draw and once it was a personal gift. Two conditions were contrasted in the experiments: one group received an invitation e-mail mentioning that all participants are eligible for the incentive, whereas the other group was told that only those participants who completely fill-out the questionnaire would receive the incentive. Dependent measures were response, retention, number of omitted closed-ended items, length of answers to open-ended questions, and stereotypical answering of grid-like question batteries. Across all experiments consistent patterns were found suggesting that conditional incentives decrease response and increase retention and data quality. However, in neither study these tendencies reached a conventional level of statistical significance. Therefore, individual results were meta-analytically integrated to find out whether individual experiments were merely underpowered to detect small effects.
Fünf Experimente widmeten sich der Fragestellung, ob und wie die Teilnahme an webbasierten Studien dadurch beeinflusst wird, dass der Erhalt eines materiellen Anreizes von der Vollständigkeit des ausgefüllten Fragebogens abhängig gemacht wird. Von den fünf Experimenten wurden vier in einem universitären Online-Panel und eines in einem kommerziellen Marktforschungspanel durchgeführt. Vier mal wurde als Incentive die Teilnahme an einer Verlosung angeboten: ein mal wurde ein persönliches Incentive ausgelobt. In jedem Experiment wurden zwei Bedingungen kontrastiert: Eine zufällig ausgewählte Gruppe erhielt eine Einladungs-E-Mail, in der erwähnt wurde, dass alle Teilnehmer eine Anwartschaft auf das Incentive haben, wogegen der anderen Gruppe mitgeteilt wurde, dass nur Teilnehmer, welche den Fragebogen vollständig ausfüllen, für das Incentive in Frage kommen. Abhängige Variablen waren die Ausschöpfung, die Retention, die Zahl der nicht beantworteten geschlossenen Fragen, die Länge der Antworten auf offene Fragen sowie die stereotype Beantwortung von Matrix-Fragen. Über alle Experimente hinweg wurden Muster in der Richtung beobachtet, dass konditionale Incentives die Ausschöpfung senken, die Retention und die Datenqualität jedoch heben. Allerdings waren diese Tendenzen in keinem der Experimente signifikant. Deswegen wurden in einem zweiten Schritt die einzelnen Studien meta-analytisch zusammengefasst, um herauszufinden, ob die Primärstudien lediglich eine zu geringe Teststärke aufwiesen, um kleine bis sehr kleine Effekte aufzudecken.
Homepage - conference (abstract)
Web survey bibliography - 2005 (76)
- Compilation of Composite Satisfaction Index in User Satisfaction Survey; 2005; Sam Min, K., Park, Ju.
- Unintended Consequences of Incentive Induced Response Rate Differences; 2005; Pope, D., Crawford, S. D., Johnson, E. O., McCabe, S. E.
- Mode Effects in Customer Satisfaction Measurement; 2005; Steiger, D. M., Keil, L., Gaertner, G.
- From Crayons to Computers: The Evolution of Computer use in Redistricting; 2005; Altman, M., MacDonald, K., McDonald, M.
- Survey Measures of Web-Oriented Digital Literacy; 2005; Hargittai, E.
- Vote Over-Reporting: Testing the Social Desirability Hypothesis in Telephone and Internet Surveys; 2005; Holbrook, A. L., Krosnick, J. A.
- Using the Web to Survey College Students: Institutional Characteristics That Influence Survey Quality...; 2005; Crawford, S. D., McCabe, S. E., Inkelas, K. K.
- Visual Context Effects in Web Surveys; 2005; Couper, M. P., Conrad, F. G., Tourangeau, R.
- The Labelling Game: A Conceptual Exploration of Deviance on the Internet; 2005; Denegri-Knott, J., Taylor, J.
- Comparing Check-All and Forced-Choice Question Formats in Web Surveys: The Role of Satisficing, Depth...; 2005; Smyth, J. D., Dillman, D. A., Christian, L. M., Stern, M. J.
- Data Collection Mode Effects Controlling for Sample Origins in a Panel Study: Telephone versus Internet...; 2005; Dennis, J. M., Chatt, C., de Rouvray, C., Pulliam, P.
- An Empirical Evaluation of Three Web Survey Design Principles; 2005; Healey, B., Macpherson, T., Kuijten, B.
- In my opinion; 2005; Haley, F.
- Eight tips offer best practices for online MR; 2005; Kottler, R. E.
- Get the most from Net-based panel research; 2005; Philpott, G.
- Evaluation of Noise-Induced Hearing Loss in Young People Using a Web-Based Survey Technique.; 2005; Chung, J. H., des Roches, C. M., Meunier, J., Eavey, R. D.
- Demands on web survey tools for epidemiological research; 2005; Baelter, O., Baelter, K.
- The Quality of Ego-Centered Network Data: A comparison of online versus offline data collection; 2005; Snijders, C., Matzat, U.
- Meta-Analyses on Contingent versus Unconditional Incentives; 2005; Goeritz, A.
- Internet-administered adolescent health questionnaires compared with a paper version in a randomized...; 2005; Mangunkusumo, R. T., Moorman, P. W., van den Bergh, H., Ruiter, A. E., Van Der Lei, J., de Koning, H...
- Online-Research: Markt- und Sozialforschung mit dem Internet; 2005; Welker, M., Werner, A., Scholz, J.
- Mode effects for collecting alcohol and tobacco data among 3rd and 4th grade students: A randomized...; 2005; McCabe, S. E., Boyd, C. J., Young, A., Crawford, S. D., Pope, D.
- Exploring users' attitudes and intentions toward the web as a survey tool; 2005; Huang, H.-M., Liaw, S. S.
- Web Surveys for Electronic Commerce: A Review of the Literature; 2004; Huang, H.-M., Liaw, S. S.
- Comparison of web and mail surveys in collecting illicit drug use data: a randomized experiment; 2004; McCabe, S. E.
- Use and non-use of clarification features in web surveys; 2003; Tourangeau, R., P., Couper, M. P., Conrad, F. G., Baker, R. P.